IA023
Introducción a la programación en Triton
Reducciones, Softmax y estabilidad numérica
Objetivos de aprendizaje
- Ejecutar e interpretar operaciones de reducción en tensores multidimensionales.
- Formular la función Softmax para transformar los logits en distribuciones de probabilidad.
- Diagnosticar problemas comunes de estabilidad numérica, como desbordamiento y subdesbordamiento de punto flotante.
- Implementar el Softmax numéricamente estable utilizando desplazamiento constante y la técnica del Log-Sum-Exp.